管理Compute

Compute类型

在Serverless Spark中，支持以下Compute类型：

• SQL Compute：用于SQL开发和查询。在SQL编辑器运行查询操作时，需要选择一个合适的SQL Compute。

• 资源队列：用于Application任务的运行，以及工作流节点的实际作业运行。

创建SQL Compute

SQL Compute创建完成后，您可以在创建SQL类型任务时选择此Compute。

1. 进入Compute页面。

   1. 登录E-MapReduce控制台。

   2. 在左侧导航栏，选择EMR Serverless > Spark。

   3. 在Spark页面，单击目标工作空间名称。

   4. 在EMR Serverless Spark页面，单击左侧导航栏中的Compute。

2. 在Compute页面，单击创建SQL Compute。

3. 在创建SQL Compute页面，配置以下信息，单击创建。

   重要

   根据SQL Compute配置信息，建议所选部署队列的并发上限至少设置为3 CU。

   参数	说明
   名称	新建SQL Compute的名称。仅支持小写字母、数字、短划线（-），并且开头和结尾必须是字母或者数字。
   部署队列	请选择合适的开发队列部署Compute。仅展示开发或者开发和生产公用的队列。 队列更多信息，请参见管理资源队列。
   引擎版本	当前Compute使用的引擎版本。引擎版本号含义等详情请参见引擎版本介绍。
   自动停止	默认开启。45分钟不活动后自动停止SQL Compute。
   spark.driver.cores	用于指定Spark应用程序中Driver进程所使用的CPU核心数量。默认值为1 CPU。
   spark.driver.memory	用于指定Spark应用程序中Driver进程可以使用的内存量。默认值为3.5 GB。
   spark.executor.cores	用于指定每个Executor进程可以使用的CPU核心数量。默认值为1 CPU。
   spark.executor.memory	用于指定每个Executor进程可以使用的内存量。默认值为3.5 GB。
   spark.executor.instances	Spark分配的执行器（Executor）数量。默认值为2。
   动态资源分配	默认关闭。开启后，需要配置以下参数： executors数量下限：默认为2。 executors数量上限：如果未设置spark.executor.instances，则默认值为10。
   更多内存配置（点击展开）	spark.driver.memoryOverhead：每个Driver可利用的非堆内存。默认值为1 GB。 spark.executor.memoryOverhead：每个Executor可利用的非堆内存。默认值为1 GB。 spark.memory.offHeap.size：Spark可用的堆外内存大小。默认值为1 GB。 仅在spark.memory.offHeap.enabled设置为true时生效。默认情况下，当采用Fusion Engine时，该功能将处于启用状态，其非堆内存默认设置为1 GB。
   Spark配置	填写Spark配置信息，默认以空格符分隔，例如，spark.sql.catalog.paimon.metastore dlf。

4. 单击新建SQL Compute操作列的启动。

相关文档

• 队列相关的操作，请参见管理资源队列。

• Compute支持的角色及权限，请参见管理用户和角色。

• SQL任务完整的开发流程示例，请参见SQL任务快速入门。